Computer graphics, 3D computer vision and robotics communities have produced multiple approaches to represent and generate 3D shapes, as well as a vast number of use cases. However, single-view reconstruction remains a challenging topic that can unlock various interesting use cases such as interactive design. In this work, we propose a novel framework that leverages the intermediate latent spaces of Vision Transformer (ViT) and a joint image-text representational model, CLIP, for fast and efficient Single View Reconstruction (SVR). More specifically, we propose a novel mapping network architecture that learns a mapping between deep features extracted from ViT and CLIP, and the latent space of a base 3D generative model. Unlike previous work, our method enables view-agnostic reconstruction of 3D shapes, even in the presence of large occlusions. We use the ShapeNetV2 dataset and perform extensive experiments with comparisons to SOTA methods to demonstrate our method's effectiveness.

在GAN的潜在空间中发现有意义的方向来操纵语义属性通常需要大量标记的数据。最近的工作旨在通过利用对比语言图像预训练（CLIP），联合文本图像模型来克服这种限制。在有希望的同时，这些方法需要几个小时的预处理或培训来达到所需的操纵。在本文中，我们展示了Stylemc，一种快速有效的文本驱动图像生成和操纵方法。 Stylemc使用基于剪辑的丢失和身份丢失来通过单个文本提示来操纵图像，而不会显着影响其他属性。与现有工作不同，Stylemc只需要几秒钟的每个文本提示培训，以找到稳定的全局方向，不需要提示工程，可以与任何预先训练的样式模型一起使用。我们展示了我们方法的有效性，并将其与最先进的方法进行比较。我们的代码可以在http://catlab-team.github.io/stylemc找到。

在本文中，我们使用大规模播放脚本数据集来提出从对话中提出戏剧发电的新颖任务。使用超过一百万行的对话和提示，我们将提示生成问题作为受控文本生成任务方法，并展示如何使用如何使用对话/提示鉴别器的语言模型来增强对话的影响。此外，我们还探讨了主题关键字和情绪的使用，以获得受控文本生成。广泛的定量和定性实验表明，语言模型可以成功地用于在高度专业化的域中生成合理的和属性控制的文本，例如播放脚本。配套材料可在：https://catlab-team.github.io/cuegen。